Pedestrian soft biometrics recognition using deep learning on thermal images in smart cities

With technological advancement and the rise of the Internet of Things, our society is becoming more interconnected than ever before. Our computers and devices are getting smaller, and their computing power and memory has been increasing. These advances coupled with the leaps in artificial intelligence caused by the deep learning revolution in recent yearshave led to an increasingly rising interest in the field of pervasive intelligence. Intelligence in the environment has been used in smart homes in order to bring assistance to semi-autonomous people by performing activity recognition based on sensor data. As technology keeps improving, we may start to investigate the extension of assistive technologies beyond the boundaries of smart homes and into our smart cities. In order to bring assistance to semi-autonomous people, the first step is to be able to recognize profiles of vulnerable people. In order to leverage technology and artificial intelligence to make our cities smarter, safer and more accessible, this thesis investigates the use of environmental sensors such as thermal cameras to perform pedestrian soft biometrics recognition (age, gender and mobility) in the city. In this thesis, the process of building prototypes from scratch in order to collect thermal gait data in the city is explored, and the use and optimization of deep learning algorithms to perform soft biometrics recognition, as well as the feasibility of implementing these algorithms on limited resource boards are explored. The use of unprocessed thermal images allows a higher degree of privacy for the citizens, and it is novel in the field of human profile recognition. This thesis aims to set the foundation of future work, both in the field of thermal images-based soft biometrics recognition and pervasive intelligence in our cities in order to make them smarter, and move towards an interconnected society. Les progrès technologiques et le développement de l’Internet des Objets nous mènent vers une société de plus en plus interconnectée. Nos ordinateurs et nos appareils deviennent de plus en plus petits et leur puissance de calcul et leur mémoire ne cesse de s’améliorer. Ces avancées combinées aux récents progrès dans le domaine de l’intelligence artificielle avec la révolution de l’apprentissage profond ont mené à un intérêt grandissant dans le domaine de l’intelligence ambiante. L’intelligence ambiante a été utilisée dans le domaine des maisons intelligentes sous forme de reconnaissance d’activités, permettant d’assister les personnes semi-autonomes en utilisant des données collectées par des capteurs. Alors que le progrès technologique continue, nous arrivons à un point où l’hypothèse d’étendre ces stratégies d’assistance des maisons aux villes intelligentes devient de plus en plus réaliste. Afin d’étendre cette assistance aux villes, la première étape est d’identifier les personnes vulnérables, qui sont celles qui pourraient bénéficier de cette assistance. Dans le but d’utiliser la technologie pour rendre nos villes plus intelligentes, plus sûres et plus accessibles, cette thèse explore l’utilisation de capteurs environnementaux tels que des caméras thermiques pour effectuer de la reconnaissance de profils dans la ville (âge, genre et mobilité). Dans cette thèse, le processus de construction de prototypes pour récolter des données thermales dans la ville est présenté, et l’utilisation ainsi que l’optimisation d’algorithmes d’apprentissage profond pour la reconnaissance de profils est explorée. L’implémentation des algorithmes sur un système embarqué est également abordée. L’utilisation d’images thermiques garantit un plus grand degré d’anonymat pour les citoyens que l’utilisation de caméras RGB, et cette thèse représente les premiers travaux de reconnaissance de profils multiples en utilisant uniquement des images thermiques sans pré-traitement. Cette thèse a pour objectif de poser les bases pour des travaux futurs dans le domaine de la reconnaissance de profils en utilisant des images thermiques, ainsi que dans le domaine de l’intelligence ambiante dans nos villes, afin de les rendre plus intelligentes et de se diriger vers une société interconnectée

Activity recognition in the city using embedded systems and anonymous sensors

This paper presents an embedded system that performs activity recognition in the city. Arduino Due boards with infrared, distance and sound sensors are used to collect data in the city and the activity, profile, and group size recognition performance of different machine learning algorithms (RF, SVM, MLP) are compared. The features were extracted based on fixed-size windows around the observations. We show that it is possible to achieve a high accuracy for binary activity recognition with simple features, and we discuss the optimization of different parameters such as the sensors collection frequency, and the storage buffer size. We highlight the challenges of activity recognition using anonymous sensors in the environment, its possible applications and advantages compared to classical smartphone and wearable based approaches, as well as the improvements that will be made in future versions of this system. This work is a first step towards real-time online activity recognition in smart cities, with the long-term goal of monitoring and offering extended assistance for semi-autonomous people